tag

流计算 Oceanus

本文作者 / Wenda 关注存储以及周边生态,独立的存储系统生存太艰难,融入生态才体现价值。 1、背 景 我们Ceph作为后端存储时,这里只针对块存储空间的使用进行讨论。 对于块存储空间,Linux用户的使用方法有多种,如:rbd map方式、rbd-nbd map方式、 rbd-fuse方式,

​ 一、 问题分析概览 流计算作业通常运行时间长,数据吞吐量大,且对时延较为敏感。但实际运行中,Flink 作业可能因为各种原因出现吞吐量抖动、延迟高、快照失败等突发情况,甚至发生崩溃和重启,影响输出数据的质量,甚至会导致线上业务中断,造成报表断崖、监控断点、数据错乱等严重后果。 本文会对Flink

CDC 是什么 CDC 是变更数据捕获(Change Data Capture)技术的缩写,它可以将源数据库(Source)的增量变动记录,同步到一个或多个数据目的(Sink)。在同步过程中,还可以对数据进行一定的处理,例如分组(GROUP BY)、多表的关联(JOIN)等。 例如对于电商平台,用户

​摘要 :随着社会消费模式以及经济形态的发展变化,将催生新的商业模式。腾讯新闻作为一款集游戏、教育、电商等一体的新闻资讯平台、服务亿万用户,业务应用多、数据量大。加之业务增长、场景更加复杂,业务对实时计算高可靠、可监控、低延时、数据可回溯的要求也越来越迫切。比如新闻广告投放、停单、在线推荐、电商搜索

“产品使用攻略”、“上云技术实践” 有奖征集啦~ | 案例名称 | 案例简介 | |: |: | | 使用流计算 Oceanus 和 ES 构建日志分析系统 | 介绍从 mysql 数据库采集数据到流计算服务 Oceanus 进行分析,最后输出到 ElasticSearch 服务的实践。可作为日志搜